Elasticsearch 1.0.0 released! なのでSnapshot/Restore on S3をやってみた

Elasticsearch 1.0.0 released! なのでSnapshot/Restore on S3をやってみた

#Elasticsearch
#Amazon S3
#AWS
#全文検索
佐々木 大輔

佐々木 大輔

facebook logohatena logotwitter logo
Clock Icon2014.02.13

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

はじめに

Elasticsearch 1.0.0 released、おめでとうございます！

ということで1.0.0 featuresを見ていたところ

Snapshot/Restore API

Backup or restore select indices or the whole cluster to a shared filesystem, S3 or HDFS via a simple API.

これはやはり試さないといかんだろうと思い、やってみました！

準備

環境はAmazon Linux on EC2です。 早速1.0.0のrpmを取得しインストールします。そしてchkconfigに登録してサービス起動。

$ wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.0.0.noarch.rpm
$ sudo rpm -ivh ./elasticsearch-1.0.0.noarch.rpm

$ sudo chkconfig --add elasticsearch
$ sudo chkconfig elasticsearch on
$ sudo service elasticsearch start
Starting elasticsearch:                                    [  OK  ]

ローカルファイルシステムを使ったSnapshot and Restore

データ登録

リストアの動作確認をするために、テストデータを追加しておきます。

$ curl -XPUT http://localhost:9200/test/test/1 -d '
> {
>   "title" : "doc1",
>   "text"  : "one"
> }'
{"_index":"test","_type":"test","_id":"1","_version":1,"created":true}

$ curl -XPUT http://localhost:9200/test/test/2 -d '
> {
>   "title" : "doc2",
>   "text"  : "two"
> }'
{"_index":"test","_type":"test","_id":"2","_version":1,"created":true}

データがちゃんと登録されていることを確認しておきましょう。

$ curl -XGET http://localhost:9200/test/test/_search -d '
> {
>     "query" : {
>         "match_all" : {}
>     }
> }'
{"took":90,"timed_out":false,"_shards":{"total":5,"successful":5,"failed":0},"hits":{"total":2,"max_score":1.0,"hits":[
{"_index":"test","_type":"test","_id":"1","_score":1.0, "_source" : 
{
  "title" : "doc1",
  "text"  : "one"
}},
{"_index":"test","_type":"test","_id":"2","_score":1.0, "_source" : 
{
  "title" : "doc2",
  "text"  : "two"
}}]}}

スナップショットの設定

「my_backup」というファイルシステムリポジトリを作成し、スナップショットを取得します。settingsについては以下の通り。

location スナップショットの保存場所。必須。
compress スナップショットファイルの圧縮指定。デフォルトはtrue。
concurrent_streams スナップショットストリームの数。デフォルトは5。
chunk_size スナップショットを分割する場合のサイズ指定。デフォルトはnullのため分割無し。
max_restore_bytes_per_sec リストア時の最大転送速度を指定。デフォルトは20mb。
max_snapshot_bytes_per_sec スナップショット作成時の最大転送速度を指定。デフォルトは20mb。 
$ curl -XPUT 'http://localhost:9200/_snapshot/my_backup' -d '{
>     "type": "fs",
>     "settings": {
>         "location": "/mnt/backup/my_backup",
>         "compress": true
>     }
> }'
{"acknowledged":true}

設定値を確認します。

$ curl -XGET 'http://localhost:9200/_snapshot/my_backup?pretty'
{
  "my_backup" : {
    "type" : "fs",
    "settings" : {
      "compress" : "true",
      "location" : "/mnt/backup/my_backup"
    }
  }
}

スナップショットの取得

それでは実際にスナップショットを取得してみましょう。

$ curl -XPUT "localhost:9200/_snapshot/my_backup/snapshot_1?wait_for_completion=true"
{"snapshot":{"snapshot":"snapshot_1","indices":["test"],"state":"SUCCESS","start_time":"2014-02-13T04:47:21.494Z","start_time_in_millis":1392266841494,"end_time":"2014-02-13T04:47:21.847Z","end_time_in_millis":1392266841847,"duration_in_millis":353,"failures":[],"shards":{"total":5,"failed":0,"successful":5}}}

確認してみると...ちゃんと出来てます！

$ ls -alF /mnt/backup/my_backup/
合計 24
drwxr-xr-x 3 elasticsearch elasticsearch 4096  2月 13 04:47 2014 ./
drwxrwxrwx 3 root          root          4096  2月 13 04:45 2014 ../
-rw-r--r-- 1 elasticsearch elasticsearch   31  2月 13 04:47 2014 index
drwxr-xr-x 3 elasticsearch elasticsearch 4096  2月 13 04:47 2014 indices/
-rw-r--r-- 1 elasticsearch elasticsearch  179  2月 13 04:47 2014 metadata-snapshot_1
-rw-r--r-- 1 elasticsearch elasticsearch  173  2月 13 04:47 2014 snapshot-snapshot_1

リストア

リストアの動作を確認すべく、登録されているデータのうちid=2を削除しておきます。

$ curl -XDELETE http://localhost:9200/test/test/2
{"found":true,"_index":"test","_type":"test","_id":"2","_version":2}

$ curl -XGET http://localhost:9200/test/test/_search -d '
>  {
>      "query" : {
>          "match_all" : {}
>      }
>  }'
{"took":2,"timed_out":false,"_shards":{"total":5,"successful":5,"failed":0},"hits":{"total":1,"max_score":1.0,"hits":[{"_index":"test","_type":"test","_id":"1","_score":1.0, "_source" : 
{
  "title" : "doc1",
  "text"  : "one"
}}]}}

ではリストアしてみます。indexを一旦closeしてからスナップショットからリストア、その後indexをopenします。

$ curl -XPOST http://localhost:9200/test/_close
{"acknowledged":true}

$ curl -XPOST "localhost:9200/_snapshot/my_backup/snapshot_1/_restore"
{"accepted":true}

$ curl -XPOST http://localhost:9200/test/_open
{"acknowledged":true}

確認

データを確認してみると...削除したid=2のデータが復活しています！

$ curl -XGET http://localhost:9200/test/test/_search -d '
>   {
>       "query" : {
>           "match_all" : {}
>       }
>   }'
{"took":4,"timed_out":false,"_shards":{"total":5,"successful":5,"failed":0},"hits":{"total":2,"max_score":1.0,"hits":[
{"_index":"test","_type":"test","_id":"1","_score":1.0, "_source" : 
{
  "title" : "doc1",
  "text"  : "one"
}},
{"_index":"test","_type":"test","_id":"2","_score":1.0, "_source" : 
{
  "title" : "doc2",
  "text"  : "two"
}}]}}

S3を使ったSnapshot and Restore

ここからが本題。SnapshotをS3のbucketに取得し、更にリストアしてみます。

準備

前提としてIAM Role for EC2でPowerUsersが割り当てられていることとします。なのでelasticsearch.ymlにaccess_keyやsecret_keyを書き込む必要はありません。

AWS Cloud Plugin for Elasticsearchをインストールしておきます。

$ sudo /usr/share/elasticsearch/bin/plugin -install elasticsearch/elasticsearch-cloud-aws/2.0.0.RC1

スナップショットの設定

「s3_backup」というリポジトリを作成します。

$ curl -XPUT 'http://localhost:9200/_snapshot/s3_backup' -d '{
>     "type": "s3",
>     "settings": {
>         "bucket": "elasticsearch",
>         "region": "ap-northeast"
>     }
>  }'
{"acknowledged":true}

スナップショットの取得

スナップショットを取得します。コマンド自体はファイルシステムリポジトリと同様です。

$ curl -XPUT "localhost:9200/_snapshot/s3_backup/snapshot_1?wait_for_completion=true"
{"snapshot":{"snapshot":"snapshot_1","indices":["test"],"state":"SUCCESS","start_time":"2014-02-13T05:25:03.665Z","start_time_in_millis":1392269103665,"end_time":"2014-02-13T05:25:05.079Z","end_time_in_millis":1392269105079,"duration_in_millis":1414,"failures":[],"shards":{"total":5,"failed":0,"successful":5}}}

S3のbucketの中身を確認してみると...ちゃんと出来てますね！

s3_backup

リストア

またid=2のデータを削除しておきます。

$ curl -XDELETE http://localhost:9200/test/test/2
{"found":true,"_index":"test","_type":"test","_id":"2","_version":2}

$ curl -XGET http://localhost:9200/test/test/_search -d '
>  {
>      "query" : {
>          "match_all" : {}
>      }
>  }'
{"took":2,"timed_out":false,"_shards":{"total":5,"successful":5,"failed":0},"hits":{"total":1,"max_score":1.0,"hits":[{"_index":"test","_type":"test","_id":"1","_score":1.0, "_source" : 
{
  "title" : "doc1",
  "text"  : "one"
}}]}}

それではS3リポジトリを使ってリストアします。ファイルシステムリポジトリと何ら変わりません。

$ curl -XPOST http://localhost:9200/test/_close
{"acknowledged":true}

$ curl -XPOST "localhost:9200/_snapshot/s3_backup/snapshot_1/_restore"
{"accepted":true}

$ curl -XPOST http://localhost:9200/test/_open
{"acknowledged":true}

確認

ちゃんとid=2のデータが復活してますねー！

$ curl -XGET http://localhost:9200/test/test/_search -d '
>    {
>        "query" : {
>            "match_all" : {}
>        }
>    }'
{"took":78,"timed_out":false,"_shards":{"total":5,"successful":5,"failed":0},"hits":{"total":2,"max_score":1.0,"hits":[
 {"_index":"test","_type":"test","_id":"1","_score":1.0, "_source" {
   "title" : "doc1",
   "text"  : "one": 
 }},
 {"_index":"test","_type":"test","_id":"2","_score":1.0, "_source" : 
 {
   "title" : "doc2",
   "text"  : "two"
 }}]}}

まとめ

1.0.0betaから既に実装されていた機能ですが、1.0.0リリースに併せて改めて触ってみました。簡単！便利！

他にもたくさんのfeatursが実装されていますので、色々試してみたいと思います！

Share this article

facebook logohatena logotwitter logo

関連記事

[Rust] Testcontainerで使い捨てコンテナを使ったテスト

[Rust] Testcontainerで使い捨てコンテナを使ったテスト

User avatar
中村 修太
2024.11.05
『ベクトル検索入門：古くて新しいベクトル検索の世界』についてDevelopersIO 2024 FUKUOKAで登壇しました #devio2024 #クラスメソッド福岡

『ベクトル検索入門：古くて新しいベクトル検索の世界』についてDevelopersIO 2024 FUKUOKAで登壇しました #devio2024 #クラスメソッド福岡

User avatar
quiver
2024.06.28
ElasticSearchのDemo環境で、Kibana DevToolsのConsoleからcat APIを一通り叩いてみた。

ElasticSearchのDemo環境で、Kibana DevToolsのConsoleからcat APIを一通り叩いてみた。

User avatar
横山嵩人
2023.05.19
ElasticSearchのDemo環境で、cat APIについて学んでみた

ElasticSearchのDemo環境で、cat APIについて学んでみた

User avatar
横山嵩人
2023.05.19
Classmethod's white logo
Facebook's logo
X's logo
YouTube's logo

© Classmethod, Inc. All rights reserved.